ActiveSaddler: Automated Curriculum Learning for Agent Harness Optimization
ActiveSaddler：Agent 外壳优化的自动课程学习
🧭 Agent harness 自动课程学习 ★ 深度解读
POSTECH · KAIST · Microsoft
将 Agent harness 优化的训练场景选择建模为非平稳 bandit，动态构造 failure-pattern arm 并自适应调度，在 GAIA2/Terminal-Bench 2.0 分别提升 4.4/7.5 个百分点
📌 工作参考价值（4 点）
- 把训练样本选择纳入 LLM Agent 自动优化：在自动调 prompt / tool / control logic 时，不要只按固定类目或场景顺序滚动训练集；先对失败执行轨迹做诊断，按同一底层缺陷聚成 failure-pattern arm，再作为后续优化目标。类目粒度太粗会掩盖未解决弱点，单场景粒度太细会分散同类失败，论文中两类替代 arm 导致 GAIA2 下降 3.0/3.6pp，TB2 下降 10.8/6.7pp。
- 用 LLM 对失败模式打学习潜力分并随机采样，不贪心：打分参考 severity / fixability / breadth / side-effect risk 四维，再做 softmax 采样（温度 0.15）。分数随 harness 和证据更新而重算，让优化预算持续重分配到仍可修复的高价值弱点；移除自适应打分导致 4.5/7.5pp 下降。
- 显式设置 exploration / exploitation 控制器：每轮先做二值决策 DRAW（探索未见样本）vs PULL（复用已知 arm），依据当前已知 arm 剩余价值；固定每 5 轮探索的变体下降 4.5/8.3pp。在搜索/推荐 Agent 优化中，当已知失败模式已被基本修复时再切换新 task 采样。
- 用 pattern registry + CLI 管理动态 arm，而不是把历史全塞进 prompt：提供 scoped view 和读写命令，工程上可复用到长周期迭代的 agent 优化系统。